스탠퍼드대와 NVIDIA 연구진이 대비 학습(contrastive learning) 목표로 상태와 행동을 연결하는 새로운 모델 클래스 '대비 언어 모델(CLM)'을 발표했습니다. CLM-8B는 컴퓨터 조작, 게임, 도구 호출 작업에서 Jev와 대등한 성능을 내면서도 최대 9배 낮은 지연시간을 보이며, 미세조정만으로 DeepSWE(81.6%), Terminal Bench 2.1(87.6%) 등 에이전트 코딩 벤치마크에서 새로운 SOTA를 달성했습니다. 또한 상태와 행동의 임베딩을 독립적으로 캐싱·재사용하는 초효율 훈련·서빙 인프라와 함께 CLM의 스케일링 법칙도 제시했습니다.
Magic Team이 알고리즘 효율 개선을 축적하여 주요 오픈 웨이트 기반 모델 대비 10배 이상 컴퓨팅 효율이 높은 사전학습 레시피를 발표했습니다. DeepSeek V4 Pro Base와 약 50배 적은 FLOPs(~$0.5M)로 동등한 성능을 달성했으며, $4M 규모로 확장 시 공개된 모든 오픈 기반 모델의 퍼플렉시티를 능가했습니다. 대규모 칩 없이도 알고리즘 혁신만으로 프론티어급 사전학습이 가능함을 보여준다는 점에서 주목받습니다.
AI 기술의 상상을 초월하는 발전 속도에 비해 정치적 입법 기구의 대응이 너무 느리다는 문제의식을 제기한 글입니다. 최근 최첨단 AI 모델이 사이버 보안과 국가 안보에 실질적인 위협을 가할 수 있다는 사실이 명확해짐에 따라, 이제는 전 세계적인 차원에서 AI의 리스크와 기회에 신속하게 대응할 수 있는 정책적 장치를 가동해야 한다고 촉구합니다.
Anthropic과 Stanford 등의 연구진에 따르면, 소형 모델은 학습 과정에서 흔하게 등장하는 작업에 편향되어 드문 작업을 학습하자마자 잊어버리는 현상을 겪습니다. 반면 대형 모델은 넉넉한 용량을 바탕으로 흔한 작업을 먼저 마스터한 뒤, 드문 작업의 패턴을 안정적으로 암기하고 법칙을 깨달아(grokking) 새로운 상황에 일반화할 수 있습니다. 이는 모델의 크기를 무작정 키우는 대신, 특정 기능을 원하는 수준으로 학습시키기 위해 훈련 데이터 내에서 해당 작업의 등장 빈도를 높이는 것이 더 효율적인 대안이 될 수 있음을 시사합니다.